SCOReD: Student-Aware CoT Optimization for Recommendation Distillation
面向推荐的师生感知型思维链优化与蒸馏
🧭 生成式推荐 · CoT 蒸馏优化 ★ 深度解读
University of California Riverside · Meta AI
通过学生注意力评分和奖励引导的编辑，压缩推荐推理链中的冗余验证，提升小模型蒸馏效果
📌 工作参考价值（4 点）
- CoT 蒸馏前先压缩冗余验证：大老师在推荐排序中频繁重复检查但极少修改答案（79% 的验证不改变最终排名），直接 SFT 会让小模型学会啰嗦而不修正。可借鉴论文的分段与重要性评分（用学生模型的 </think> 注意力分数）识别并剪枝无用的验证步骤，仅保留信息密集片段。
- 奖励函数确保压缩后对学生友好：采用 logP(answer|edit) - α·Len - β·PPL 选择编辑操作（保留/重写/融合/剪枝），既保证压缩后答案可预测，又避免高困惑度文本破坏小模型的训练稳定性（防止灾难性遗忘）。在业务中蒸馏推荐模型时可复用该公式，自动平衡压缩率与可学习性。
- 避免极端压缩导致的格式崩溃：纯 LLM 摘要压缩虽然大幅缩短长度，但导致 8.74% 的解析失败（如输出不足 k 个候选、重复索引），说明过度压缩会破坏输出格式。工程上应采取逐步编辑策略，保留必要结构。
- SFT 足够时，RL/on‑policy 增益有限：论文在 SFT 模型已接近老师时，尝试了 DAPO 和 OPSD，均未带来稳定提升，提示在生成式推荐场景中，合理处理后训练阶段可能不需要额外 RL 微调，节省计算资源。